Er war der älteste Sohn Kaiser Maximilians I. und der Maria von Burgund, die an ihn den Länderkomplex des Hauses Burgund vererbte. Die meiste Zeit seines Lebens verbrachte er daher in Brüssel. Seine Hochzeit am 21.08 1496 in Lille mit der Infantin Johanna 1496 ging parallel mit der Hochzeit seiner Schwester Margarete mit dem spanischen Thronfolger Johann (Juan), Sohn der katholischen Könige Isabella von Kastilien und Ferdinand von Aragón. Diese Hochzeit war - anders als die burgundische Heirat Maximilians - nicht von vornherein der Thronfolge wegen geschlossen worden. Die Politik der Habsburger war vielmehr darauf gerichtet, die Beziehungen zu Spanien durch die Ehe zu festigen und somit den Erzrivalen Frankreich weiter zu isolieren. Durch den plötzlichen Tod des Infanten Johann in dem Jahre 1497 stellte sich jedoch auch die Frage in der Nachfolge der kastilischen Königswürde.

Der Erbfall trat 1504, beim Tod Isabellas ein. Isabella hatte die Krone gleichermaßen ihrer Tochter Johanna, Philipps Ehefrau, und ihrem Ehemann Ferdinand von Aragon vermacht. Zusammen mit Johanna wurde auch Philipp König von Kastilien. Die Lage war also durchaus offen, zumal auch Ferdinand erneut heiratete und damit gerechnet werden mußte, daß aus dieser Ehe möglicherweise ein Erbe hervorgehen könnte, was jedoch in dem weiteren Verlauf der Ereignisse nicht geschah.

Philipp starb plötzlich nach einer kurzen Fieberinfektion in dem Jahre 1506. Er hinterließ zwei kleine Söhne, Karl (* 24.02 1500 - † 21.09 1558) und Ferdinand (* 10. März 1503 - † 25.07 1564), die unter der Vormundschaft ihres Großvaters Ferdinands von Aragón standen. Mit diesen beiden Söhnen teilte sich das Haus Habsburg in zwei Zweige: Karl wurde zu dem Begründer der spanischen Linie und Ferdinand wurde zu dem Begründer der österreichischen Linie.

Zudem war er der Vater von vier Töchtern:

• Eleonore (* 15.11 1498 - † 18.02 1558)
• Isabella (* 18.07 1501 - † 19.01 1526)
• Maria (* 17.09 1505 - † 18.10 1558)
• Katharina (* 14.01 1507 - † 12.02 1578)